修剪技术已成功地用于神经网络中,以交易稀疏性。但是,网络修剪的影响并不统一:先前的工作表明,数据集中代表性不足类的召回可能会受到更大的负面影响。在这项工作中,我们通过假设模型固有的强化效应来研究回忆中的这种相对扭曲。也就是说,修剪的召回率对于以下召回精度的课程相对较差,相反,它使召回率相对较好,对于上述准确性的课程相对较好。此外,我们提出了一种旨在减弱这种效果的新修剪算法。通过统计分析,我们观察到,我们的算法的强度不那么严重,但是随着相对较困难的任务,较不复杂的模型和更高的修剪比率更为明显。更令人惊讶的是,我们相反观察到具有较低的修剪比的脱敏作用。
translated by 谷歌翻译